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(57) Abstract: The invention concerns 
a device for detecting the presence 
of objects, which is mounted in an 
automobile. Said device has at least 
one blind spot in which the device can 
detect an object located in said blind spot 
and comprises the following elements: 
a receiver that is capable of detecting 
electromagnetic waves that includes a 
focusing device and a photosensing device 
which transforms the electromagnetic 
waves into electrical signals; an electronic 
circuit that transforms the electrical 
signals into digitized signals; a logical 
circuit that analyzes the digitized signals 
to analyze the presence of objects moving 
in relation to said vehicle in the blind 
spot and that emits variable output signals 
depending on the result of said analysis, 
in addition to indicating elements that are 
activated by the output signals, which can 
be perceived by the driver. 

(57) Resumen: Dispositivo de detecci6n 
de presencia de objetos, del tipo que 
van montados en un vehiculo autom6vil, 
que presenta por lo menos unangulo 
muerto, donde el dispositivo de detecci6n 
es apto para detectar un objeto situado 
en el angulo muerto y comprende: un 
receptor apto para detectar unas ondas 
electromagneticas, con un dispositivo 
focalizador, y un fotosensor que 
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dichas ondas electromagndticas recibidas en unas senales electricas, un circuito electronico que transforma las senales electricas en 
unas senales digitalizadas, un circuito 16gico que analiza las senales digitalizadas para analizar la presencia de objetos en el angulo 
muerto con un movimiento relativo respecto de dicho vehiculo, y que emite unas senales de salida variables en funci6n del resultado 
del analisis, [d] unos elementos indicatores, activados mediante las senales de salida, aptos para ser percibidos por el conductor. 
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DISPOSITIVO DE DETECCION DE PRESENCIA DE OBJETOS 

DESCRIPCION 

5 

La invention se refiere a un dispositivo de deteccion de presencia 
de objetos, del tipo que van montados en un vehiculo automovil, que 
presenta por lo menos un angulo muerto, donde el dispositivo de deteccion 
10 es apto para detectar un objeto situado en el angulo muerto. 

Los vehiculos automoviles convencionales suelen disponer de unos 
espejos retrovisores, generalmente uno interno y uno o dos externos, que 
permiten al usuario o conductor ver hacia atras sin necesidad de que el 
usuario se gire sobre si mismo. Sin embargo, a pesar de disponer de una 
15 pluralidad de espejos, suelen quedar unas zonas, llamadas angulos 
muertos, que no quedan cubiertas por dichos espejos. 

Es conocido el empleo de sistemas que captan una imagen 
orientada hacia un angulo muerto mediante una camara CCD y que la 
muestran al usuario a traves de una pantalla colocada en el habitaculo del 
20 vehiculo. Estos sistemas permiten que el usuario pueda ver los angulos 
muertos sin necesidad de incorporate, sin embargo, presentan una serie 
de inconvenientes: requieren unos sistemas de transmisi6n de imagen con 
una calidad suficiente para que el usuario perciba una imagen clara, lo que 
requiere trabajar con una elevada cantidad de pixels, se debe disponer de 
25 espacio en el habitaculo para poder colocar la correspondiente pantalla, el 
sistema no procesa la imagen, sino que unicamente la transmite, etc. Son, 
por tanto, unos sistemas caros y que no colaboran activamente en la 
deteccion de situaciones de riesgo. 

La invention tiene por objeto superar estos inconvenientes. Esta 
30 finalidad se consigue mediante un dispositivo de deteccion de presencia de 
objetos del tipo indicado al principio caracterizado porque comprende: [a] 
un receptor apto para detectar unas ondas electromagneticas, que 
comprende un dispositivo focalizador, y un fotosensor que transforma las 



WO 01/61371 



PCT/ES01/00057 



ondas electromagneticas recibidas en unas senales electricas, donde el 
fotosensor define una superficie de imagen, [b] un circuito electronico que 
transforma las senales electricas en unas senales digitalizadas, [c] un 
circuito logico que analiza las senales digitalizadas para analizar la 

5 presencia de objetos en el angulo muerto con un movimiento relativo 
respecto del vehiculo, y que genera unas senales de salida variables en 
funcion del resultado del analisis, [d] unos elementos indicadores, 
activados mediante las senales de salida, aptos para ser percibidos por el 
conductor, el acompanante o, en general, por cualquier pasajero del 

10 vehiculo. 

Efectivamente, un dispositivo de deteccion de este tipo capta la 
imagen del angulo muerto y la analiza, informando al conductor del 
resultado del analisis. Ello tiene una serie de ventajas: al conductor no se 
le muestra la imagen del angulo muerto, por lo que no es necesario 

15 disponer de espacio en el habitaculo para una pantalla, adicionalmente al 
conductor se le da una information de "mayor valor", en el sentido que, por 
parte del dispositivo de deteccion, ya se ha hecho una labor de analisis, y 
se comunica al conductor o usuario el resultado del analisis. Por otro lado, 
el dispositivo de deteccion requiere unos receptores con una cantidad de 

20 pixels menor que la necesaria para presentar al usuario una imagen del 
angulo muerto con una minima calidad, por lo que el dispositivo de 
deteccion puede ser equipado con receptores mas economicos sin que 
pierda prestaciones. 

El dispositivo de deteccion no analiza unicamente la presencia de 

25 un objeto en el angulo muerto, sino que da una idea cualitativa de la 
vetocidad relativa del objeto respecto del vehiculo y, por tanto, determina si 
el objeto se acerca o se aleja, y con una idea aproximada de la velocidad. 
Ello permite que la informacion que se suministra al conductor sea mas 
completa, ya que puede distinguir diferentes niveles de riesgo en funcion 

30 de la velocidad relativa del objeto. 

El dispositivo de deteccion tambien da una idea cualitativa de la 
distancia relativa del objeto respecto del vehiculo y, por tanto, determina la 
position del objeto con respecto al vehiculo. Ello permite que la 
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information que se suministra a! conductor sea mas completa, ya que 
puede distinguir diferentes niveles de riesgo en funcion de la position del 
objeto. 

EI fotosensor es preferentemente un conjunto de elementos 

5 sensores, que ventajosamente son fotodiodos, distribuidos segun una 
matriz de dos dimensiones, plana, que define unas filas paralelas entre si. 
De esta forma, la matriz de elementos sensores define la superficie de 
imagen, que esta compuesta por una pluralidad de pixels, donde a cada 
pixel le corresponde un elemento sensor. 

10 Los fotodiodos transforman las ondas electromagneticas en una 

corriente electrica. Esta corriente electrica se transforma preferentemente 
en una tension electrica y se amplifica. 

Es preferente que el fotosensor este constituido por unos elementos 
sensores activos que presenten un rango dinamico igual o superior a las 

15 seis decadas (10 6 = 120 dB) en una misma superficie de imagen, es decir, 
que entre el valor umbral minimo de detection, y el umbral de saturation 
hay un rango de seis decadas, expresando las intensidades de luz en lux. 
Asimismo, un pixel que en un instante determinado esta recibiendo el valor 
minimo de detection, puede detectar en la siguiente adquisicion de imagen 

20 un valor que sea seis decadas mayor, y viceversa. Ello permite que el 
receptor pueda trabajar en multiples condiciones de luz, e incluso en 
condiciones de luz adversas, con fuertes contrastes de luz, como en la 
conduction nocturna. Por la misma razon es preferente que un mismo 
elemento sensor presente un rango dinamico igual o superior a las seis 

25 decadas entre dos imagenes consecutivas. 

Preferentemente el circuito electronico puede efectuar una 
selection de cada uno de dichos elementos sensores activando la 
correspondiente fila y la correspondiente posici6n en dicha fila, siendo asi 
posible seleccionar cualquier elemento sensor a continuation de cualquier 

30 elemento sensor. De esta manera, se puede tomar la senal electrica 
procedente de cada uno de los elementos sensores y se puede amplificar y 
digitalizar secuencialmente todos los pixels que conforman la superficie de 
imagen. Alternativamente es tambien posible que el circuito electronico 
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transforme simultaneamente todas las senates electricas de una fila de 
elementos sensores a senates digital izadas. En cada diseno concreto se 
debera entonces valorar el mayor coste de esta solution frente a la mayor 
rapidez de digitalizado de la imagen. 

Como ya se ha indicado anteriormente, uno de los objetivos de la 
presente invention es poder emplear receptores con unos fotosensores de 
bajo coste. En este sentido, es preferente que la matriz de elementos 
sensores sea de como maximo 512 x 512 elementos sensores, y muy 
preferentemente que sea de como maximo 320 x 256 elementos sensores. 
En general estos valores hacen referencia a la cantidad de sensores 
activos para el procesado de la imagen. Es decir, es posible que la matriz 
de elementos sensores disponga de mas elementos sensores, pero que no 
esten activados para el procesado de la imagen. 

Una vez digitalizada la imagen el circuito logico analiza la superficie 
de imagen. Para ello realiza preferentemente una convolution matematica, 
en particular un kernel de convolution apropiado para una detection de 
movimiento, a lo largo de toda la superficie de imagen de ia serial 
digitalizada o a lo largo de una parte de la misma. 

El circuito logico comprende preferentemente un circuito electronic 
especializado que incluye: [a] una unidad central de proceso (CPU) 
secuencial de tipo Von Neumann, [b] un coprocesador en paralelo, 
especializado en el calculo de la convolution sobre toda la superficie de 
imagen, y que incluye por lo menos 32 multiplicadores acumuladores 
paralelos con una alta velocidad de calculo aptos para calcular la 
convolution directamente sobre la superficie de imagen a una velocidad de 
calculo tal que la convolution se complete antes de initiarse una nueva 
adquisicion de imagen, y [c] una memoria RAM local. En particular es 
preferente que la velocidad de calculo sea tal que permita calcular una 
convolution en un tiempo inferior a 100 ms. 

Preferentemente el dispositivo de detection es apto para distinguir 
un vehiculo de otros objetos. Ello se consigue, por ejemplo, a base de 
reconocer unos bordes o aristas, formar unos rectangulos con dichos 
bordes y comparar dichos rectangulos con unos patrones. Cuando ha 
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detectado un vehiculo, anaiiza a partir de la siguiente irnagen la velocidad 
relativa entre el vehiculo detectado y el vehiculo portador del dispositivo de 
detection. 

Una forma preferente de realization de la invention preve dividir la 
5 superficie de imagen en por lo menos dos partes, y emplear tecnicas de 
analisis diferentes en cada una de dichas partes. Asi, en una de dichas 
partes la tecnica consiste en la ya indicada en el parrafo anterior, es decir, 
en el reconocimiento de los bordes, la formation de unos rectangulos, en 
la comparacion de los rectangulos con unos patrones y en la comparacion 
10 de dos imagenes consecutivas para calcular la velocidad relativa, mientras 
que en otra de las partes se emplea una tecnica basada en una diferencia 
de fase para obtener una estimation del flujo optico en una direction 
determinada, concretamente en direction de la calle o carretera por la que 
circula el vehiculo. 

15 Otra tecnica de analisis consiste en detectar aristas verticales y/o 

horizontales claramente marcadas sobre la imagen de la carretera. 
Ventajosamente esta tecnica incluye tambien el seguimiento, a lo largo de 
imagenes sucesivas, del movimiento de dichas aristas, y el calculo, a partir 
de dicho seguimiento, de la velocidad relativa entre e! objeto (vehiculo) 

20 detectado y el vehiculo portador del dispositivo de detection. Esta tecnica 
se describe con mas detalle mas adelante. 

Asimismo es posible que en alguna de las partes en las que se ha 
dividido la superficie de imagen se hagan servir simultaneamente mas de 
una tecnica de analisis. 

25 En general, el dispositivo de detection debe suministrar una senaf 

de aviso cuando detecta una situation en la que hay un riesgo de colision. 
Esta serial debe servir para que el conductor tenga tiempo de evitar o de 
corregir una maniobra peligrosa. En este sentido es evidente que la senal 
de aviso debe de activarse con tiempo suficiente para que el conductor 

30 pueda reaccionar adecuadamente. Si se considera una situation en la que 
un vehiculo entra en una autopista, lo que representa una situation 
extrema por lo que respecta a la velocidad relativa entre el vehiculo 
entrante y los vehiculos que circulan por la autopista, se comprende que el 
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dispositivo de detection debe tener un radio de action elevado, para poder 
avisar al conductor con tiempo suficiente. Por etlo es preferente que el 
radio de action del dispositivo de detection sea mayor de 15m,o mejor 
aun, mayor de 20 m. En este sentido, el dispositivo de detection cubre un 

5 campo de vision mas grande que estrictamente el angulo muerto. Asi, el 
dispositivo de detection puede detectar situaciones de riesgo y alertar al 
conductor incluso aunque la situation de riesgo fuese detectable a traves 
del espejo retrovisor. De esta manera el dispositivo de detection colabora 
de una forma mas amplia en la seguridad durante la conduction del 

10 vehiculo. 

El dispositivo focalizador puede comprender cualquier elemento 
optico habitual y que sea evidente para un experto en la materia. En 
particular, puede disponer de una lente o de una microlente integrada en el 
circuito integrado que incluye el dispositivo focalizador. Asimismo es 
15 posible incluir una guia de transmision de ondas electromagneticas. Ello 
permitiria, por ejemplo, colocartodo el dispositivo de detection en un punto 
cualquiera en el interior del vehiculo, y conectarlo con el exterior a traves 
de dicha guia. Sin embargo, las reducidas dimensiones del dispositivo de 
detection permiten colocarlo en el interior de un espejo retrovisor, lo que 
20 constituye una forma preferente de realization, o incluso es posible colocar 
un dispositivo de detection en cada uno de los espejos retrovisores 
exteriores de un vehiculo. 

Para conseguir unos tamanos reducidos, al mismo tiempo que unos 
consumos bajos y una simplification en las comunicaciones entre los 
25 diferentes componentes del dispositivo de detection, es recomendable que 
el circuito electronico y el fotosensor sean de tecnologia CMOS, DMOS, 
MOS, Si-Ge, BiCMOS o de tecnologia SOI (silicon on insulator), y que el 
fotosensor y el circuito electronico esten flsicamente unidos en un modulo 
multi-chip (MCM, multi chip module) sobre un sustrato de material plastico, 
30 fibra de vidrio (FR4), ceramico o de silicio. 

Opcionalmente se puede mejorar la capacidad del dispositivo de 
detection de analizar las situaciones de riesgo si, a las caracteristicas de 
detection de un objeto que se aproxima, se le anade la capacidad de 
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detectar si el vehiculo en el que va montado el dispositivo de deteccion ha 
inicializado acciones indicadoras de una aproximacion al objeto. En 
particular, es ventajoso que el dispositivo de deteccion sea capaz de 
detectar la puesta en marcha de una luz intermitente y/o que sea capaz de 
5 detectar un giro en el volante del vehiculo. 

Tambien es interesante que el dispositivo de deteccion sea capaz 
de comunicar al usuario o conductor del vehiculo diversas senates, que 
permitan matizar la senal de aviso en funcion del riesgo de colision. As! es 
preferible que los elementos indicadores incluyan unas senates luminosas 
10 con por lo menos dos colores, donde cada color indica un nivel de aviso 
diferente. Tambien es ventajoso incluir un elemento de salida que permita 
la representation de pictogramas, donde dicho elemento de salida es una 
matriz de LED's o una pantalla grafica. 

Asimismo puede haber una situacion de riesgo si un pasajero del 
15 vehiculo portador del dispositivo de deteccion abre una puerta sin mirar si 
se aproxima otro vehiculo por detras. Es, por tanto, ventajoso que el 
dispositivo de deteccion indique tambien a los pasajeros del vehiculo 
dichas situaciones de riesgo. 

Es ventajoso permitir que el dispositivo de deteccion actue sobre el 
20 cierre de las puertas. Asi, por ejemplo, puede bloquear una puerta si 
detecta una situacion de riesgo. 

Finalmente es ventajoso anadir al dispositivo de deteccion de 
presencia de objetos un dispositivo de deteccion de somnolencia del 
conductor. Preferentemente en dispositivo de somnolencia comparte la 
25 mayoria de los dispositivos fisicos con el dispositivo deteccion de 
presencia de objetos y emite una senal de alarma en funcion de la posicion 
relativa entre el vehiculo portador del dispositivo de deteccion y las lineas 
de marcado de los carriles de la carretera. 

Otras ventajas y caractensticas de la invention se aprecian a partir 
30 de la siguiente description, en la que, sin ningun caracter limitativo, se 
relata un modo preferente de realization de la invencion, haciendo 
mention de los dibujos que se acompanan. Las figuras muestran: 
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Figs. 1A - 1D, esquema de los angulos muertos de un vehiculo, las 
zonas de vision directa y a traves del espejo retrovisor izquierdo, y la zona 
cubierta por un dispositivo de deteccion de acuerdo con la invencion. 

Fig. 2, esquema simplificado de un dispositivo de deteccion de 
5 acuerdo con la invencion. 

Fig. 3, vista en alzado frontal de un espejo retrovisor mostrando 5 
posibles ubicaciones del receptor. 

Fig. 4, esquema de una superficie de imagen 

Fig. 5, la superficie de imagen de la Fig. 4, dividida en tres partes 
10 Fig. 6, un diagrama de bloques de un algoritmo de acuerdo con la 

invencion. 

A modo de ejemplo, en las Figs. 1A a 1D se muestran 
esquematicamente las zonas visibles a traves del espejo retrovisor 1 del 

15 lado izquierdo (lado conductor), las zonas visibles gracias a la vision 
periferica lateral del conductor 3, y los angulos muertos 5. Las zonas 
visibles a traves de los espejos retrovisores 1 deben cumplir una serie de 
requisitos legates, por ejemplo los definidos en E.C. 71/127 y en las 
directivas siguientes. En particular, tal como se muestra en la Fig. 1A, el 

20 angulo de vision debe ser tal que a una distancia de 10 m del espejo 
retrovisor, la anchura de la zona vista sea de como minimo 2*5 m. En la 
Fig. 1A se ha mostrado un area rectangular sombreada que corresponde 
con la exigencia legal, y un area triangular que corresponde con la vision 
real a traves de un espejo retrovisor convencional que cumpla con el 

25 requisito legal. 

Estos angulos muertos 5 son precisamente los que se quieren 
cubrir con el dispositivo de deteccion. El dispositivo de deteccion debe, 
ademas, solaparse parcialmente con el area vista por el espejo retrovisor, 
a fin de evitar discontinuidades entre lo que detecta el sensor y lo que 

30 aprecia el conductor. Por esta misma razon es conveniente que el sensor 
tambien cubra parte del area vista directamente por el conductor. En este 
sentido, una posible solution consiste en emplear un dispositivo de 
deteccion que cubra un area como la sombreada en ia Fig. 1C: una zona 
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en forma de triangulo rectangulo cuyos catetos sean ambos de 4'5 m 
seguido de una zona rectangular de 4'5 m de ancho. La longitud total del 
area cubierta puede depender, en funcion de las prestaciones del 
dispositive de deteccion. A modo de ejemplo, en la Fig. 1C se ha 

5 representado un alcance de 20 m, si bien el dispositivo de deteccion que 
se describe a continuacion tiene un alcance de mas de 20 m. 

En la Fig. 1D se han representado todas las zonas anteriores 
conjuntamente. Se aprecia que el angulo muerto queda cubierto 
practicamente en su totalidad, por lo que se refiere a la zona 

10 correspondiente al carril adyacente. Asimismo hay un solape con las zonas 
vistas directamente o a traves del espejo retrovisor. 

El dispositivo de deteccion de acuerdo con la invencion que se 
muestra en las Figs. 2 a 5, comprende un receptor 7, que esta formado por 
una matriz de 256 filas de fotodiodos, con 320 fotodiodos en cada fila. EI 

15 receptor 7 recibe las ondas electromagneticas procedentes del exterior, en 
este caso particular dentro del rango de la luz visible, convenientemente 
enfocadas gracias a una lente. Al incidir la luz sobre los fotodiodos, estos 
generan una corriente electrica cuya intensidad es funcion de la intensidad 
de luz recibida. Esta corriente electrica es convertida a una tension 

20 electrica. Seleccionando una fila y una position dentro de la fila, se puede 
seleccionar un fotodiodo determinado, el cual transmite asi la serial 
electrica a un circuito electronico 9. El circuito electronico 9 tiene una etapa 
de amplification 11, y una unidad de conversion analogico-digital ADC, de 
la que sale una senal digitalizada. 

25 La serial digitalizada es introducida en un circuito logico 15. El 

circuito logico 15 comprende una unidad central de proceso CPU 
secuencial de tipo Von Neumann, un coprocesador en paralelo TOT que 
calcula la convolution y que se apoya en una memoria auxiliar MEM, una 
memoria permanente FLASH y una memoria RAM, de acceso rapido 

30 (SRAM). La unidad central de proceso CPU controla asimismo al receptor 
7, enviando las senates de selection de fila 17 y de posicion dentro de la 
fila 19 a los correspondientes registros, y al circuito electronico 9. 
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El receptor 7 capta una imagen, que incluye el angulo muerto, que 
se proyecta sobre la superficie de imagen formada por los fotodiodos. Esta 
superficie de imagen es la que se transmite al circuito logico 1 5 como una 
serie de pixels digitalizados. El receptor 7 esta orientado de tal manera que 

5 el borde lateral de la superficie de imagen queda practicamente enrasada 
con la superficie lateral del coche 21 y el borde superior de la superficie de 
imagen esta enrasado con el horizonte 23. El circuito logico 15 determina 
la direccion de movimiento a lo largo de la calle o carretera, lo que le 
permite determinar si un movimiento detectado es en la direccion de la 

10 carretera o si es en otra direccion, por ejemplo vertical. De esta manera 
puede filtrar "ruidos", como puede ser la lluvia, la nieve, vehiculos en 
sentido contrario, etc. 

En la Fig. 3 se muestran unos ejemplos de posicionamiento del 
receptor 7 o, en su caso, del extremo de la gura de ondas 

15 electromagneticas, en un espejo retrovisor exterior. 

Como ya se ha indicado anteriormente, es posible la realization de 
diversos algoritmos de analisis de la imagen. En un caso la superficie de 
imagen es dividida en dos partes 25, 27, que presentan una zona de 
solape 29, tal como se muestra en la Fig. 5. El circuito logico 15 dispone de 

20 dos algoritmos independientes: un algoritmo detector de vehiculos, que se 
aplica en la parte 25, y un algoritmo detector de movimiento, que se aplica 
en la parte 27. En la zona de solape 29 se aplican ambos algoritmos. El 
algoritmo detector de vehiculos reconoce los bordes de figuras existentes 
en la superficie de imagen, selecciona los bordes dispuestos horizontal y 

25 verticalmente y se compara con unos patrones para determinar si existe un 
objeto con una forma similar a la de un vehtculo. En caso positivo, se 
analiza la siguiente imagen obtenida por el receptor 7, lo que permite 
determinar la direccion del movimiento, asi como la velocidad del objeto. El 
algoritmo detector de movimiento se basa en una tecnica de diferencia de 

30 fase para obtener una estimation del flujo optico en la direccion de la 
carretera. Ei resultado es comparado con los resultados obtenidos en 
imagenes anteriores, para eliminar errores y ruidos por medio de una 
comprobacion de consistencia. 
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Otro posible algoritmo de anaiisis de imagenes se basa en lo 
siguiente. Como ya se ha dicho el dispositivo esta disenado para detectar 
vehtculos que adelantan ai vehiculo portador del dispositivo mediante la 
serie de imagenes capturadas con una camara digital, por ejemplo una 

5 camara CMOS, dispuesta en ei espejo retrovisor de un vehiculo. 

La presencia de un vehiculo que se aproxima se basa en la 
detection y seguimiento de objetos que se mueven a lo largo del eje de la 
carretera (en general cuaiquier via publica) en sentido de aproximacion con 
respecto del vehiculo portador del dispositivo. A partir de una imagen, se 

10 puede apreciar la presencia de un vehiculo por la presencia de aristas (o 
bordes) claramente marcadas en sentido vertical y horizontal sobre el 
pavimento de la carretera. En imagenes sucesivas estos elementos 
visuales (las aristas verticales y horizontales) se mueven hacia delante si 
son parte de un vehiculo que se aproxima. Por el contrario se mueven 

15 hacia atras si son parte de objetos estaticos (como elementos de la 
carretera, vallas protectores, arboles, senales de trafico, hitos, etc.) o si 
pertenecen a vehiculos que se mueven en sentido contrario que el 
vehiculo portador del dispositivo. Por lo tanto un movimiento hacia delante 
coherente es interpretado como vehiculo que esta adelantando. 

20 Esta interpretation es generalmente correcta en autopistas o 

carreteras similares, en las que los carriles estan claramente definidos y 
las curvas suelen ser de radios amplios. En estos casos la imagen es una 
perspectiva sencilla y el carril de adelantamiento puede ser aislado de una 
forma sencilla del resto del escenario usando una mascara apropiada. Por 

25 ello el movimiento hacia delante en el carril de adelantamiento es una 
indication clara de un vehiculo que se esta aproximando. Ruidos e 
interferencias debido a baches o movimientos bruscos del vehiculo 
portador del dispositivo pueden ser eliminados a base de obligar que el 
movimiento hacia delante sea coherente a lo largo de diversas imagenes 

30 sucesivas. 

La imagen visual en una carretera que no sea una autopista o 
similar es mucho mas compleja en particular, los giros a la izquierda del 
vehiculo portador del dispositivo pueden generar un movimiento aparente 
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consistente que puede generar falsas alarrnas. Esto es particularmente 
frecuente en ambientes urbanos, donde la escena visual tiene una gran 
cantidad de objetos (coches aparcados, edificios, serial izaciones de trafico 
diversas, etc.) que presentan aristas marcadas. Ademas la distancia real 

5 entre el vehiculo que se aproxima y el vehiculo portador del dispositivo no 
puede ser estimada correctamente a partir de su posicion, ya que los 
carriles no estan bien defmidos. Por este motivo es conveniente que el 
dispositivo detector tenga un modulo de funcionamiento especifico para 
cuando el vehiculo portador gira a la izquierda. De esta manera, durante 

10 un giro a la izquierda, el campo de deteccion se desplaza hasta una 
posicion mas proxima al vehiculo portador y se imponen unos 
requerimientos mas restrictivos antes de activar la senal de alarma. Como 
consecuencia la senal de alarma se activara cuando el vehiculo que se 
aproxima esta mas cerca del vehiculo portador. Sin embargo esto no es un 

15 problema porque durante las curvas cerradas las velocidades de los 
vehiculos son mas reducidas que en las autopistas u otras vias rapidas. 
Ademas dada la configuration de la calle y la frecuente presencia de 
intersecciones, no es necesario un largo rango de deteccion en el caso de 
un entorno urbano. 

20 Como ejemplo concrete) la camara puede disponer de un sensor 

que es una matriz CMOS de 320 x 256 con un rango dinamico elevado 
(120 dB). El tamano de las imagenes procesadas es de por lo menos 128 x 
128 pixels. El campo de vision de la camara es de aproximadamente unos 
55°. La camara esta posicionada de tal manera que: 
25 - el borde vertical izquierdo de la imagen esta proximo al borde 

lateral del vehfculo portador. 
- Ei borde superior de la imagen esta ligeramente por encima de 
la Hnea del horizonte, aproximadamente un octavo de la 
imagen. 

30 - La camara esta ligeramente inclinada en sentido horario de 

manera que alinea la imagen a lo largo del eje de la carretera. 
Se emplea una mascara, que se controla a partir del software, que 
delimita la region de interes de las imagenes. La mascara se posiciona de 
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tal manera que un coche situado en el carril de adelantamiento de una 
carretera recta y a una gran distancia queda posicionado en el extreme 
superior izquierdo de la mascara. La posicion de la mascara en la imagen 
puede ser ajustada para conseguir un ajuste fino del campo de vision. 

Para que el dispositive de deteccion funcione adecuadamente la 
velocidad de captation de imagenes deberia ser preferentemente superior 
a las 40 imagenes por segundo, ya que de esta manera el dispositivo es 
capaz de seguir la trayectoria de los vehiculos que se aproximan con una 
mayor precision. 

El algoritmo del dispositivo de deteccion tiene basicamente cuatro 
modulos principales: 

- Un modulo de deteccion de flujo optico. El algoritmo usa una 
tecnica basada en la diferencia de fases para producir una 
estimation densa del flujo optico en la direction del eje de la 
carretera. Para ello se procesa un par de imagenes sucesivas. 
Elementos visuales que no se esten moviendo hacia delante 
son filtrados y eliminados. Las imagenes resultantes son 
alimentadas a los siguientes modulos. Este modulo es opcional 
y puede ser no utilizado. 

- Modulo de deteccion y seguimiento de vehiculos. En la region 
delimitada por la mascara en algoritmo calcula las aristas de la 
imagen y sus direcciones. Las aristas verticales y las aristas 
horizontales son normalizadas y son integradas a lo largo de los 
ejes vertical y horizontal respectivamente. El factor de 
normalization es ajustado dinamicamente en base a la 
densidad promedio de la arista. La proyeccion unidireccional de 
dichas aristas sobre el eje de coordenadas correspondiente se 
emplea para trazar la trayectoria segun dicho eje. Objetos que 
se aproximen generan proyecciones con velocidades positivas, 
es decir hacia la derecha y hacia abajo de la imagen. Estos 
puntos son separados de otros puntos que sean estacionarios o 
que presenten movimientos relativos a base de filtros 



-14- 



direccionales. Las trayectorias resultantes son identificadas y 
seleccionadas. 

Modulo de detection de vehfculos sin velocidad relativa. Una 
vez que se ha identificado la trayectoria de un vehiculo que se 
aproxima (mediante el desplazamiento de sus proyecciones 
unidireccionales correspondientes) se estima y supervisa la 
velocidad del vehiculo. Por lo tanto es posible detectar 
situaciones en las que este vehiculo que se aproximaba reduce 
su velocidad y circula a la misma velocidad que el vehiculo 
portador del dispositive quedandose a una corta distancia del 
vehiculo portador del dispositivo. En estos casos es posible 
emitir algun tipo de senal de alarma especifico hasta que no se 
observe que el entorno de la imagen del vehiculo que se 
aproximada sufre cambios sustanciales (alejandose o 
adelantando al vehiculo portador del dispositivo de detection). 
Es decir, este modulo permite el control de situaciones de trafico 
(por ejemplo trafico denso) en el que tiene lugar la circulation 
en paralelo, es decir, vehiculos circulando por carriles diferentes 
a velocidades practicamente iguales. En estos casos es 
relativamente frecuente que un vehiculo quede posicionado en 
el angulo muerto de otro vehiculo, to que puede generar 
situaciones de peligro. 

Modulo de detection durante los giros a ia izquierda.- Durante 
los giros a la izquierda se produce un desplazamiento de los 
elementos visuales contenidos en diferentes imagenes 
constante y global. Mediante una tecnica en correlaciones se 
detectan los desplazamientos constantes en la parte superior de 
imagenes sucesivas. La coherencia de esta senal durante 
diversas imagenes sucesivas se usa como indication de que el 
vehiculo portador esta girando y, por tanto, que debe ser 
activado el modulo de detection de giros a la izquierda. 
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La Figura 6 se muestra un diagrama de bloques en el que se 
muestra las etapas del algoritmo. Las referencias indicadas representan 
los siguientes bloques: 

5 6.1- inicio del algoritmo 

6.2 - adquisicion de imagen 

6.3 - estimacion del flujo optico 

6.4 - detector de giros a la izquierda 

6.5 - deteccion y seguimiento de vehiculos 

io 6.6 - ^Movimiento hacia delante consistente? ^Vehiculos con 

velocidad relativa cero? 

6.7-activar alarma 

En primer lugar el modulo de flujo optico 6.3 realiza un filtrado 

15 grosero del flujo de imagen basandose en la direccion del movimiento. A 
continuacion el modulo de giro a la izquierda 6.4 avisa al sistema si el 
vehiculo portador esta girando. A continuacion el sistema de deteccion y 
seguimiento 6.5 sigue las trayectorias de los objetos que se mueven y 
activa, si precede, la serial de alarma correspondiente. A continuacion, si la 

20 alarma esta activada, se activa el modulo de velocidad cero. 

Se pueden establecer dos modos de operation. Si el vehiculo 
portador no esta girando, unicamente se consideran las proyecciones de 
las trayectorias a lo largo del eje horizontal. Si el modulo de seguimiento 
detecta una trayectoria mas larga que 15 imagenes, se genera una senal 

25 de alarma y da una estimacion de la distancia relativa y de velocidad 
relativa del vehiculo que se aproxima. Esta indication es fiable en el caso 
de carreteras planas y rectas, como autopistas o similares. 

Si el detector de giro a la izquierda esta activado los requerimientos 
para que se active la alarma son mas estrictos: Primero se filtran las 

30 imagenes utilizando el detector de flujo optico, a fin de reducir el ruido, y 
las dos proyecciones (a lo largo del eje vertical y a lo largo del eje 
horizontal) son tenidas en consideration. Unicamente si un efecto visual se 
esta moviendo hacia adelante tanto en el eje X como en el eje Y se activa 
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la senal de alarma. Elio se realiza de esta manera ya que durante las 
rotaciones los elementos visuales se caracterizan por tener una velocidad 
positiva segun el eje X, pero con una velocidad aproximadamente nula 
segun el eje Y, ya que se mantiene la altura de los mismos. 
5 Adicionalmente la mascara se baja de posicion y se desplaza hacia la 
derecha para cubrir la region de interes (el carril de adelantamiento) de las 
imagenes. 

A continuacion, el circuito logico, en funcion de la informacion 
obtenida (presencia de vehiculo, distancia del vehiculo, y velocidad 

10 relativa) activa, por ejemplo, un grupo de tres LED's (no representados en 
las Figs.) de tres colores diferentes (rojo, anaranjado, verde), lo que le 
permite comunicar diferentes niveles de aviso, en funcion de la 
peligrosidad. Son posibles una pluralidad de formas de presentacion de los 
niveles de aviso: desde una unica senal luminosa roja, que se active para 

15 indicar la presencia de un objeto en la zona de deteccion, hasta 
dispositivos complejos, con diversas senates luminosas, acusticas y 
tactiles. 

El dispositivo de deteccion tiene un alcance de mas de 20 m. De 
esta manera, en la situacion indicada anteriormente a modo de ejemplo, en 

20 la que un vehiculo desea entrar en una autopista, caso en el que puede 
haber velocidades relativas del orden de 120 km/h, el conductor recibe la 
senal de aviso con casi 1 s de tiempo. 

En el caso de que el dispositivo de deteccion este montado 
simultaneamente en dos espejos retrovisores exteriores del vehiculo (uno 

25 en cada lado del vehiculo), es posible anadirle, adicionalmente, un 
dispositivo de deteccion de somnolencia del conductor. Preferentemente el 
dispositivo de deteccion de somnolencia comparte todos los elementos 
fisicos del dispositivo de deteccion de presencia de objetos que participan 
en la captacion y procesado de imagenes, como el receptor, el circuito 

30 electronico y el circuito logico. Adicionalmente el dispositivo de deteccion 
de somnolencia dispone de un algoritmo que permite detectar la 
somnolencia de la manera que se describe a continuacion. 
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Mediante las imageries obtenidas a traves de cada uno de los 
dispositivos de detection de presencia de objetos dispuestos en cada uno 
de !os retrovisores se detectan las lineas de marcado del carril por el que 
circula el vehiculo portador de los dispositivos de detection. De esta 

5 manera se puede detectar cuando el vehiculo portador cruza una de 
dichas lineas de marcado. Efectivamente, como consecuencia de la 
somnolentia el conductor ya no es capaz de seguir el carril, marcado por 
las lineas de marcado, y se sale del mismo, creando una situation de 
peligro. El detector de somnolentia es capaz, por tanto, de detectar esta 

10 circunstancia y de emitir una senal de alarma. 

Para reconocer dichas lineas de marcado, el dispositivo de 
detection de somnolentia analiza la imagen en la parte inmediatamente 
posterior del coche, extrae los bordes de la linea de marcado (las aristas 
de la misma) y las sigue a lo largo del tiempo. Se puede determinar la 

15 distancia entre la rueda y el borde de la linea de marcado y asf es posible 
emitir una senal de alarma cuando dicha linea de marcado va a ser 
traspasada. Preferentemente el dispositivo de detection de somnolentia 
esta conectado con el modulo de detection de giros, que le permite 
identificar el caso en el que se produzca una aproximacion a la linea de 

20 marcado debido a que se esta tomando una curva. Asimismo el dispositivo 
de detection de somnolentia recibe information sobre la posible activation 
de las luces intermitentes, lo que le permite discemir entre un cruce 
voluntario de las lineas de marcado de un cruce involuntario o t al menos, 
no notificado. 

25 Si el dispositivo de detection de somnolentia detecta un cruce 

inadvertido de una linea de marcado, activa una serial de aviso. Esta serial 
de aviso puede ser tactil (por ejemplo vibraciones en el volante), luminosa 
y/o acustica. 

Es posible asimismo realizar un dispositivo de detection de 
30 somnolentia a partir de un dispositivo de detection de presencia de 
objetos unico, dispuesto en un unico espejo retrovisor, si bien en este caso 
es probable que las prestaciones del mismo, en el sentido de la calidad o 
pertinencia de las senales de aviso que emite, no sean iguales. 
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El dispositivo de deteccion de somnolencia esta enfocado siempre 
hacia atras, y cubre exactamente ia misma area de deteccion del 
dispositivo de deteccion de presencia de objetos, ya que preferentemente 
comparte con el todos los elementos fisicos de deteccion y de calculo. 



WO 01/61371 



PCT/ES01/00057 



-19- 



REIV1ND1CAC1QNES 

5 

1 Dispositivo de deteccion de presencia de objetos, del tipo 
que van rnontados en un vehiculo automovil, dicho vehiculo automovil 
presentando por lo menos un anguio muerto, donde dicho dispositivo de 
deteccion es apto para detectar un objeto situado en dicho anguio muerto 

10 caracterizado porque comprende: [a] un receptor (7) apto para detectar 
unas ondas electromagneticas, dicho receptor (7) comprendiendo un 
dispositivo focalizador, y un fotosensor que transforma dichas ondas 
electromagneticas recibidas en unas senales electricas, dicho fotosensor 
definiendo una superficie de imagen, [b] un circuito electronico (9) que 

15 transforma dichas senales electricas en unas senales digitalizadas, [c] un 
circuito logico (15) que analiza dichas senales digitalizadas para analizar la 
presencia de objetos en dicho anguio muerto con un movimiento relativo 
respecto de dicho vehiculo, y que genera unas senales de salida variables 
en funcion del resultado de dicho analisis, [d] unos elementos indicadores, 

20 activados mediante dichas senales de salida. 

2. - Dispositivo de deteccion segun la reivindicacion 1, caracterizado 
porque dicho fotosensor esta constituido por unos elementos sensores 
activos que presentan un rango dinamico igual o superior a las seis 
decadas en una misma superficie de imagen, y por que un mismo 

25 elemento sensor presenta un rango dinamico igual o superior a las seis 
decadas entre dos imagenes consecutivas. 

3. - Dispositivo de deteccion segun una de las reivindicaciones 1 6 
2, caracterizado porque dicho fotosensor esta constituido por unos 
fotodiodos, aptos para transformar dichas ondas electromagneticas en una 

30 corriente electrica. 

4. - Dispositivo de deteccion segun la reivindicacion 3, caracterizado 
porque dicha corriente electrica es transformada en una tension electrica y 
porque dicha tensidn electrica es amplificada. 



WO 01/61371 



PCT/ES01/00057 



-20- 

5. - Dispositivo de detection segun por lo menos una de las 
reivindicaciones 1 a 4, caracterizado porque dicho fotosensor comprende 
una matriz de dos dimensiones de dichos elementos sensores r que define 
una serie de filas de elementos sensores, donde cada una de dichas filas 

5 se extiende en una primera direction y es paralela a las restantes filas, y 
donde el conjunto de filas conforma dicha superficie de imagen. 

6. - Dispositivo de detection segun la revindication 5, caracterizado 
porque dicho circuito electronico (9) efectua una selection de cada uno de 
dichos elementos sensores activando la correspondiente fila y la 

10 correspondiente position en dicha fila, siendo asi posible seleccionar 
cualquier elemento sensor a continuation de cualquier elemento sensor. 

7. - Dispositivo de detection segun la revindication 5, caracterizado 
porque dicho circuito electronico (9) transforma simultaneamente todas las 
senales electricas de una fila de elementos sensores a senales 

15 digitalizadas. 

8. - Dispositivo de detection segun por lo menos una de las 
reivindicaciones 1 a 7, caracterizado porque dicho circuito electronico (9) 
comprende una etapa de amplification (11) y una etapa de digitalizacion 
(ADC). 

20 9.- Dispositivo de detection segun por lo menos una de las 

reivindicaciones 5 a 8, caracterizado porque cada fila dispone de como 
maximo 512 elementos sensores activos para el procesado, y porque 
dispone de como maximo 512 filas de elementos sensores activas para el 
procesado de la imagen. 

25 10.- Dispositivo de detection segun por lo menos una de las 

reivindicaciones 5 a 8, caracterizado porque cada fila dispone de como 
maximo 320 elementos sensores activos para el procesado de la imagen, y 
porque dispone de como maximo 256 filas de elementos sensores activas 
para el procesado de la imagen. 

30 11.- Dispositivo de detection segun por lo menos una de las 

reivindicaciones 1 a 10, caracterizado porque dicho circuito logico (15) 
realiza una convolution matematica a lo largo de toda dicha superficie de 
imagen de la senal digitalizada. 
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12.- Dispositivo de detection segun la revindication 11, 
caracterizado porque dicha convolucion matematica sobre toda dicha 
superficie de imagen se realiza mediante un kernel de convolucion 
apropiado para una detection de movimiento. 

5 13.- Dispositivo de detection segun por lo menos una de las 

reivindicaciones 1 a 12, caracterizado porque dicho circuito logico (15) es 
apto para la detection de movimiento en por lo menos una direction 
determinada, siendo dicha direction ajustable en funcion de la ubicacion 
de dicho dispositivo focalizador, y por que dicho circuito logico (15) es 

10 capaz de determinar la velocidad relativa de dicho movimiento en dicha 
direction. 

14. - Dispositivo de detection segun por lo menos una de las 
reivindicaciones 11 a 13, caracterizado porque dicho circuito logico (15) 
comprende un circuito electronico especializado que incluye: [a] una 

15 unidad central de proceso (CPU) secuencial de tipo Von Neumann, [b] un 
coprocesador en paralelo (TOT), especializado en el calculo de dicha 
convolucion sobre toda dicha superficie de imagen, dicho coprocesador 
incluyendo por lo menos 32 multiplicadores acumuladores paralelos con 
una alta velocidad de calculo aptos para calcular dicha convolucion 

20 directamente sobre dicha superficie de imagen a una velocidad de calculo, 
tal que dicha convolucion se complete antes de iniciarse una nueva 
adquisicion de imagen, y [c] una memoria RAM (SRAM) local. 

15. - Dispositivo de detection segun por lo menos una de las 
reivindicaciones 11 a 14, caracterizado porque dicha convolution se 

25 calcula en un tiempo menor o igual a 100 ms. 

16. - Dispositivo de detection segun por lo menos una de las 
reivindicaciones 1 a 15, caracterizado porque es apto para distinguir un 
vehiculo de otros objetos. 

17. - Dispositivo de detection segun la reivindicacion 16, 
30 caracterizado porque realiza dicha distincion a base de reconocer unas 

aristas, claramente marcadas en sentido vertical y horizontal sobre el 
pavimento de la carretera, en una imagen. 
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18. - Dispositivo de deteccion segun una de las reivindicaciones 16 
6 17, caracterizado porque si ha detectado un vehiculo, analiza a partir de 
la siguiente imagen dicha velocidad relativa. 

19. - Dispositivo de deteccion segun por lo menos una de las 
5 reivindicaciones 1 a 18, caracterizado porque divide dicha superficie de 

imagen en por lo menos dos partes (25, 27, 29), y porque en cada una de 
dichas partes (25, 27, 29) emplea tecnicas de analisis diferentes. 

20. - Dispositivo de deteccion segun la revindication 19, 
caracterizado porque en una de dichas partes (25, 29) dicha tecnica 

10 consiste en el reconocimiento de dichas aristas y el seguimiento de las 
mismas a lo largo de diversas imagenes para calcular dicha velocidad 
relativa. 

21. - Dispositivo de deteccion segun una de las reivindicaciones 19 
6 20, caracterizado porque en por lo menos una de dichas partes (27, 29) 

15 se emplea una tecnica basada en una diferencia de fase para obtener una 
estimation del flujo optico en una direction determinada. 

22. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 21, caracterizado porque tiene un radio de action de 
por lo menos 1 5 metros. 

20 23.- Dispositivo de deteccion segun por lo menos una de las 

reivindicaciones 1 a 22, caracterizado porque dicho dispositivo focalizador 
comprende por lo menos una lente. 

24. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 23, caracterizado porque dicho dispositivo focalizador 

25 comprende una guia de transmision de ondas electromagneticas apta para 
guiar las ondas electromagneticas desde una primera zona, encarada 
hacia dicho angulo muerto, hasta una segunda zona, en la que se aloja 
dicho circuito electronico (9). 

25. - Dispositivo de deteccion segun por lo menos una de las 
30 reivindicaciones 1 a 24, caracterizado porque dichas ondas 

electromagneticas son ondas visibles. 
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26. - Dispositivo de deteccidn segun por lo menos una de las 
reivindicaciones 1 a 25, caracterizado porque dicho circuito electronico (9) 
es de tecnologia CMOS, DMOS, MOS, Si-Ge o BiCMOS. 

27. - Dispositivo de deteccion segun por lo menos una de las 
5 reivindicaciones 1 a 26, caracterizado porque dicho fotosensor es de 

tecnologia CMOS, DMOS, MOS, Si-Ge o BiCMOS. 

28. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 27, caracterizado porque dicho circuito electronico (9) 
es de tecnologia SOI (silicon on insulator). 

10 29.- Dispositivo de deteccion segun por lo menos una de las 

reivindicaciones 1 a 28, caracterizado porque dicho fotosensor es de 
tecnologia SOI (silicon on insulator). 

30. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 29, caracterizado porque dicho fotosensor y dicho 

15 circuito electronico (9) estan fisicamente unidos en un modulo multi-chip 
(MCM, multi chip module) sobre un sustrato de material plastico, fibra de 
vidrio (FR4), ceramico o de silicio. 

31. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 30, caracterizado porque dicho dispositivo focalizador 

20 comprende una microlente integrada en un circuito integrado que incluye 
dicho dispositivo focalizador. 

32. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 31, caracterizado porque dicho fotosensor esta alojado 
en el interior del conjunto espejo retrovisor exterior del vehiculo. 

25 33.- Dispositivo de deteccion segun la revindication 32, 

caracterizado porque dispone de un fotosensor en cada uno de los espejos 

retrovisores exteriores del vehiculo. 

34.- Dispositivo de deteccion segun por lo menos una de las 

reivindicaciones 1 a 33, caracterizado porque detecta, adicionalmente si 
30 dicho vehiculo ha inicializado acciones indicadoras de una aproximacion a 

dicho objeto. 
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35. - Dispositivo de detection segun la revindication 34, 
caracterizado porque dichas acciones indicadoras comprenden la puesta 
en marcha de una luz intermitente. 

36. - Dispositivo de deteccion segun una de las reivindicaciones 34 
5 6 35, caracterizado porque dichas acciones comprenden efectuar un giro 

de un volante. 

37. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 36, caracterizado porque dichos elementos 
indicadores incluyen unas sefiales luminosas con por lo menos dos 

10 colores, donde cada color indica un nivel de aviso diferente. 

38. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 37, caracterizado porque dichos elementos 
indicadores incluyen un elemento de salida que permite la representation 
de pictogramas, donde dicho elemento de salida es una matriz de LED's o 

15 una pantalla. 

39. - Dispositivo de deteccion segun por lo menos una de las 
reivindicaciones 1 a 38 donde dicho vehiculo dispone de unas puertas con 
un cierre de seguridad, caracterizado porque es apto para actuar sobre 
dicho cierre. 

20 40.- Dispositivo de deteccion segun por lo menos una de las 

reivindicaciones 1 a 39, caracterizado porque comprende, adicionalmente, 
un dispositivo de deteccion de somnolentia del conductor. 

41. - Dispositivo de deteccion segun la revindication 40, 
caracterizado porque dicho dispositivo de somnolencia cornparte dicho 

25 receptor (7), dicho circuito electronico (9) y dicho circuito logico (15) con 
dicho circuito de deteccion de presencia de objetos. 

42. - dispositivo de deteccion segun una de las reivindicaciones 40 6 
41, caracterizado porque dicho dispositivo de deteccion de somnolencia 
emite una senal de atarma en funcion de la position relativa dicho vehiculo 

30 automovil y unas Kneas de marcado. 
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Fig. 2 
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Fig. 3 
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Fig. 4 
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